Tố là con trai của danh tướng Lý Thạnh. Tố có mưu lược, giỏi cưỡi ngựa bắn cung. Nhờ ấm chức được bổ làm Hiệp luật lang, dần thăng làm Vệ úy thiếu khanh. Tố sớm mất mẹ, được Tấn quốc phu nhân Vương thị nuôi nấng. Vương thị mất, Lý Thạnh lấy cớ bà không phải là vợ đích, lệnh cho các con mặc áo gai, một mình Tố kêu khóc không thôi, Thạnh phải cho mặc áo sô. Lý Thạnh mất (793), Tố và anh trai Lý Hiến dựng chòi ở bên mộ, bị Đường Đức Tông thúc giục về nhà, bèn xin ở lại một đêm, được đế đồng ý. Sau khi mãn tang, được thụ Thái tử hữu thứ tử. Ra làm Phường, Tấn 2 châu thứ sử, có thành tích xuất sắc, được gia Kim tử quang lộc đại phu, tiến chức Thái tử Chiêm sự.